跳到主要内容

OpenVLA:开源版的 RT-2

论文:OpenVLA: An Open-Source Vision-Language-Action Model(Moo Jin Kim 等,2024)。OpenVLA 想解决的事情很具体:RT-2 证明了 VLM 微调可以做机器人策略,但它 55B 参数、闭源、不能二次微调,整个学术社区都用不上。OpenVLA 做的是用开源模型复现 RT-2 的思路,把参数量砍到 7B,把训练数据换成更大的 Open X-Embodiment 合集,最后在未见任务上比 RT-2-X(55B)高 16.5 个百分点。

1. 从 RT-2 到 OpenVLA 要改什么​

RT-2 用离散 token 表示动作、协同微调、只用 Google 内部数据。OpenVLA 保留了动作 token 表示这一条,其他都改了:

  • 骨干:从 55B PaLI-X 换成 7B Prismatic。规模砍 8 倍,但视觉编码器做了双路融合,弥补一部分能力
  • 数据:从 RT-1 的 13 万条换成 Open X-Embodiment 的 97 万条,覆盖 20+ 机器人平台
  • 不做协同微调:只在机器人数据上训,不再和 WebLI 图文对混合。原因是 Prismatic 本身已经是 VLM 预训练好的,机器人微调阶段不再需要 VLM 数据来"锚定"
  • 可微调:LoRA 支持在单卡 A100 上微调,任何研究组都能用起来

2. 骨干:Prismatic-7B​

OpenVLA 基于 Prismatic-7B,一个双编码器融合的开源 VLM。跟 RT-2 用 ViT-22B 单路视觉的做法不同,Prismatic 把两个视觉编码器的输出拼在一起。

视觉编码器(约 600M 参数,双路融合):

  • SigLIP:Google 2023 的对比学习模型,输出偏向高层语义("这是一只猫"),来自互联网规模图文对训练
  • DINOv2:Meta 2023 的自监督模型,输出偏向低层空间特征("物体的精确边界在哪"),对操作任务的定位很关键
  • 融合方式:两路输出的 patch 特征向量逐通道拼接(不是求平均,不是分别投影)

为什么双路?单路 CLIP/SigLIP 学的是图文匹配任务,训练目标不强调空间精度——它知道"图里有一只猫"但对猫的边缘位置不敏感。而机器人操作需要毫米级定位。DINOv2 是纯视觉自监督,训练时要还原图像细节,对空间精度更敏感。两路拼接让模型同时拿到语义和空间信息。

作者做过对照,冻结视觉编码器(只训语言模型和投影层)会显著损害下游性能,所以预训练时视觉编码器也参与更新。

语言主干:Llama 2 7B,标准自回归 decoder-only 结构。

投影器:2 层 MLP,把拼接后的视觉特征映射到 Llama 的 token 嵌入空间。

输入分辨率:224×224。

总参数约 7.5B(600M 视觉 + 6.7B 语言 + 少量投影)。

3. 动作表示​

跟 RT-2 一样把动作转成词汇表 token,但有两个具体改动:

  • 256 bin 边界取训练数据的第 1–99 百分位(RT-2 用全数据的 min/max)。理由是训练数据里的异常值(比如某条示范里手臂突然大幅移动)会把 min/max 拉得很宽,导致大部分动作挤在中间几十个 bin 里。用百分位切能让 bin 分布更均匀。
  • 词汇表低频 token 就地覆盖:找到 Llama 2 词汇表里使用频率最低的 256 个 token,把它们的嵌入重新初始化,专门用来表示动作。RT-2 的 PaLI-X 版本是直接借用整数 token,PaLM-E 版本才用低频 token 替换。OpenVLA 学的是 PaLM-E 的做法。

推断时模型生成 7 个连续 token(6-DOF 机械臂加夹爪),反量化回连续动作。训练目标是仅对动作 token 计算交叉熵损失,语言解释部分不参与训练(因为机器人数据里没有 QA 标签)。

4. 训练数据:Open X-Embodiment​

数据来源是 Open X-Embodiment(OXE),从 70+ 数据集里精选了 26 个,共约 97 万条示范。

主要数据源和权重:

数据集权重
Bridge V1+V213.3%
Fractal(Google Robot,RT-1 的数据)12.7%
Kuka12.7%
BC-Z7.5%
FMB7.1%

覆盖平台:WidowX、Google 移动机械臂、Franka、Jaco、UR5、Kuka 等。不同平台的动作维度不一样(有的 6-DOF,有的 7-DOF,有的带底盘),OpenVLA 统一填充到 7 维,多余的维度置零。

训练规模:64× A100,14 天(约 21,500 A100·小时),批大小 2048,学习率 2e-5(固定,无预热),训练 27 epoch,直到动作 token 预测精度超过 95%。

5. LoRA 微调​

原版 OpenVLA 全量微调需要 163 GB 显存,8 卡 A100 才够。LoRA 是这篇论文的一个重要工程贡献——证明了小改动能让 OpenVLA 在单卡上可用。

LoRA 的原理是给权重矩阵 WW 加一个低秩分解的增量 ΔW=BA\Delta W = BA,其中 B∈Rd×rB \in \mathbb{R}^{d \times r}、A∈Rr×dA \in \mathbb{R}^{r \times d},秩 rr 很小(这里用 32)。训练时只更新 AA 和 BB,冻结原始 WW。

策略成功率可训练参数显存
全量微调69.7%7188M163 GB
LoRA r=3268.2%97.6M59.7 GB
仅最后一层30.3%465M51 GB
冻结视觉编码器47.0%6760M156 GB

LoRA r=32 用 1.4% 的参数量拿到跟全量微调差 1.5 分的结果,显存降 2.7 倍。冻结视觉编码器只训语言部分反而效果差很多——说明下游任务和预训练分布差异比较大,视觉编码器需要跟着调。

量化推断:

  • bfloat16:16.8 GB,约 6 Hz(RTX 4090)
  • int4:7 GB,约 3 Hz

6. 实验结果​

vs. RT-2-X(55B)on BridgeData V2 + Google Robot(29 任务):

  • OpenVLA 平均领先 16.5% 绝对成功率
  • Google Robot 任务两者相当,BridgeData V2 上 OpenVLA 明显领先

Google Robot 是 RT-2 的训练分布内数据,OpenVLA 在这上面追平就够了。BridgeData V2 上领先的原因是 RT-2-X 训练时对 Bridge 的采样权重比较低,而 OpenVLA 给 Bridge 13.3% 权重。这个对比某种意义上不完全公平——数据分布本来就不一样——但也说明开源大数据集加中等规模模型能追上闭源大模型。

vs. Diffusion Policy on Franka 7 任务微调:

  • OpenVLA 领先 20.4%
  • 是唯一在所有测试任务上均达到 ≥50% 成功率的方法

Diffusion Policy 是每个任务单独训练,OpenVLA 是预训练加微调,这个对比展示了预训练的价值。

模型对比:

模型参数开源可微调机器人示范量
RT-2-X55B否否~35万
Octo93M是是80 万
OpenVLA7B是是(LoRA)97 万

OpenVLA 是中间路线:比 Octo 大 75 倍带来更强的表达能力,比 RT-2-X 小 8 倍保持了可用性。

7. 局限​

OpenVLA 只支持单帧图像输入,没有多摄像头、本体感知历史或观测堆叠。6 Hz 的推断速度对 50Hz 的 ALOHA 高频系统太慢——这个短板后来被 OpenVLA-OFT 通过并行解码 + 动作分块解决。

没有任务的成功率超过 90%,还没到生产可用水平。256 bin 离散化对精细操作的精度瓶颈也没处理——π0 用流匹配、π0-FAST 用 DCT tokenizer 是两个后续方向。

论文没有系统探索几个关键设计轴:基础 VLM 规模从 7B 往上或往下的效果、协同微调是否真的可以省掉、双路视觉编码器和单路的对比。这些都留给了后续工作。

代码和权重见 openvla/openvla。